開発初期の実験室では、私たちはしばしば デモの罠に陥りがちです。これは、 最小限の実現可能な製品（MVP） 『ゴールデン』な例（言語モデルの内部重みと取得されたコンテキストがまれな運命的一致を示すクエリ）に対してテストされるため、完璧に機能するという認知上の誘惑です。

MVPから 実用的なシステムへ移行するには、厳しい真実を受け入れる必要があります： RAGはチャットボットをよりスマートに聞こえさせるための方便ではありません。 それは、非決定論的な言語モデルを外部知識源と責任あるかつ予測可能な方法で接続する厳格なアーキテクチャ設計アプローチです。信頼できるシステムの価値は、完璧なPDFを要約できることではなく、スキャンされたドキュメントのエントロピー、矛盾する条項、そして現実世界の問いかけの複雑な長尾に対処できる能力にあります。

エンジニアリングの責任

• 主要なソース： 検索パイプラインを真実の主なソースとし、LLMを二次的なプロセッサとして扱う。
• 統計的検証： 一度だけ動いたという個人的な検証（それは一度動いた！）から、数千ものエッジケースにおける統計的検証へとシフトする。
• graceful failure（穏やかな失敗）： 証拠がない状況を想定して設計する。『私は知らない』と答えるシステムは、『幻覚的な重み』に基づいて推測するシステムよりも無限に価値があります。